เฟเดอเรอร์เกิดที่เมืองบาเซิล ในประเทศสวิตเซอร์แลนด์[13] เขาเป็นลูกของ โรเบิร์ต เฟเดอเรอร์ ซึ่งเป็นคนเชื้อสายสวิส-เยอรมัน และลินเนตต์ เฟเดอเรอร์ ซึ่งเป็นคนเชื้อสายแอฟริกาใต้ เขาเติบโตในแถบชานเมือง Münchenstein ซึ่งห่างจากเบเซิล ชายแดนฝรั่งเศส และชายแดนเยอรมนี ไป 10 นาที เมื่อสมัยที่ยังเด็ก เขาเป็นคนที่อารมณ์ร้อน จนถูกไล่ออกจากสนามซ้อมเป็นบางครั้ง เขาเคยคิดจะเป็นนักฟุตบอลอาชีพ แต่ตัดสินใจเลือกเป็นนักเทนนิสอาชีพแทน โดยยังคงติดตามผลงานของทีมฟุตบอลเอฟซี เบเซิล ทีมประจำบ้านเกิดของเขา และเป็นแฟนบอลของทีมอิตาลีอย่าง เอเอส โรม่า[14][15] เมื่อยังเด็ก เฟเดอเรอร์ชอบไปดู มาร์เซโล ริออส เล่นที่เทนนิสสนามแข่ง[16] เขาชอบ สเตฟาน เอดเบิร์ก และบอริส เบคเกอร์ เป็นพิเศษ โดยเขาเคยบอกว่าเป็นแฟนตัวจริงของทั้งสอง[13]

เฟเดอเรอร์ปัจจุบัน อาศัยอยู่ที่ โอเบอร์วิล ประเทศสวิตเซอร์แลนด์ และเป็นแฟนกับ อดีตนักเทนนิสหญิง ผู้เกิดที่สโลวาเกีย นามว่า มิโรสลาวา วาฟริเนค (เมียร์ก้า) ซึ่งเลิกเล่นอาชีพ ในปี ค.ศ. 2002 หลังจากบาดเจ็บที่เท้า ทั้งสองคนได้พบกันที่ การแข่งขันกีฬาโอลิมปิกเกมส์ ที่ซิดนีย์ ปี ค.ศ. 2000เฟเดอเรอร์เปิดตัวน้ำหอม ยี่ห้อ อาร์เอฟ คอสเมติคส์ (RF Cosmetics) ในเดือนตุลาคม ค.ศ. 2003[17] เฟเดอเรอร์ถือ ภาษาสวิส-เยอรมัน เป็นภาษาแม่ แต่ก็สามารถพูดฝรั่งเศส และอังกฤษ ได้อย่างคล่องแคล่ว[14] เขาชอบไปพักผ่อนที่ มัลดีฟส์ ดูไบ และเทือกเขาสวิส[14][18] นอกจากนี้เขายังเป็นเพื่อนกับนักกอล์ฟอาชีพอย่าง ไทเกอร์ วูดส์